舒城县委武装撤向皖东后，未转移的党组织和武装，在桂顽和地方反动势力的反复“清剿”中大部受损失。秦家桥区委书记袁国柱、城关小园上游击队负责人王志权，西汤池深寨冲游击队陈信才、吴合、胡士章等10余名党员，徐洼、傅冲游击队负责人陈道成，县委永安秘密交通站交通员晏祖香夫妇等党员和干部先后牺牲。

但是，舒桐潜边区的党组织还在，他们领导边区人民与顽军进行不屈的斗争。1940年12月，以程鹏(彭廷举)为书记的舒桐潜中心区委发展为舒桐潜工作委员会。舒城山区党的组织得以恢复和发展。先后建立或恢复了安菜山、小百丈岩、江家山、南冲、沙埂党支部。到1943年，相继恢复或建立了广兴店、小街、西黄土关、张田、甘家岭、驼岭、小涧冲、三里湾、庐镇关等党支部。

随着党组织的发展壮大，武装队伍也不断得到恢复和建立。1941年春，早期舒城共产党员王谋成受新四军七师挺进团派遣，率侦察班返回舒城开展武装斗争。秋天，便建立100余人的舒城游击队，王谋成任队长，活动在舒城西南山区。同年，以杨启文为队长的游击队建立，队伍很快由20余人发展到40余人；活动在晓天一带山区。1943年春，又建立储德纯游击队、黄应华游击队。储德纯游击队活动在晓天、驼岭一带，黄应华游击队主要活动在庐镇关、河棚一带。同年，以方余平为队长的东沙埂游击队恢复成立，活动于东沙埂、沟二口一带。

1941年1月,国民党策划了“皖南事变”,发动第二次反共高潮，不久，根据中共中央军委的命令，重建新四军军部，全军改编为7 个师1个独立旅。皖中、皖东一带的新四军部队在无为改编为第七师。与此同时，驻在大别山的国民党桂系李品仙部紧锣密鼓地策划向皖中、皖东抗日根据地进攻,妄图全歼皖南突围渡江部队和皖中、皖东新四军。

1941年3月，新四军第七师根据中共中央关于加强皖西游击纵队的力量，以便不久向大别山前进的指示精神，决定组建挺进团，挺进大别山，在桐城、潜山、舒城、怀宁、霍山、岳西等县开展游击斗争，开辟新的游击区，打通与鄂豫皖边区李先念率领的新四军第五师的联系，牵制桂顽对皖中、皖东地区的兵力。挺进团团长林维先，政委张有来，政治处主任彭胜标，副团长兼参谋长傅绍甫。

为配合挺进团在大别山区的斗争，3月，舒无地委决定建立舒庐桐县委，并将舒城、庐江两县部分游击队合编成立舒庐桐独立连。县委书记桂林栖，组织部长贾世珍，独立连连长黄炳光，指导员贾世珍。县委、独立连随挺进团活动。3月中旬，挺进团分两路向桐、潜舒地区前进。

团政治处主任彭胜标、参谋长傅绍甫率团部、团直属队和一营在舒庐桐独立连的配合下，从无为出发，经巢湖、庐江盛家桥，东汤池，向舒城山区进发。国民党五二〇团和保安四团一路紧追不舍，在舒庐交界的大马槽与顽军激战一天，第二天西进到达舒城县境，经岐岭、王家河、西沙埂、庐镇关、洪庙、小街,到张田又与保安队打了一天，后迅速转移到猪头尖、板仓、小涧冲、驼岭等地，不料，又遭顽军一三八师的一个团和保安四团的包围。我军与敌顽激战7天。我军缺乏粮食，只能利用战斗间隙派人通过敌军的层层封锁，到山脚下一个锅炉厂买点咸菜充饥，渴了吃雪，当时正值隆冬季节，整天大雪飞扬，山林成了一片白色世界。我军只能用茅草当被子，几个人挤在一起互相取暖。为了冲出顽军的包围，摆脱困境，彭胜标、傅绍甫等团首长召集排以上干部会议，决定兵分两路，留特务连坚守猪头尖掩护部队突围，其余部队分两路突围。一场激烈的战斗后，我军冲出重围，顽军又穷追不舍，为拖住顽军，我军转移到庐镇关、小街后又返回张田。这时,担任掩护任务的特务连已安全转移。在张田，又与顽军激战一天，然后转移到潜山的后冲再到桐城蒋潭一带。在桐城叶家湾和乌脚岭大塘与舒桐潜工委程鹏、叶树槐、何杰之等领导的独立营会合。

会合后，顽军仍跟踪追击。为摆脱尾追之敌，避免与敌拼消耗，决定分散隐蔽活动。分散活动期间，我军与舒城党组织取得联系。不久，团长林维先率三营由庐江罗昌河、钱家桥出发，到桐城屋聚岭与彭胜标、傅绍甫会合。挺进团除原来分散在舒桐潜开展斗争外，其余部队在团长林维先率领下以乌脚岭为依托，在其周围地区开展斗争。五六月间,挺进团与舒桐潜工委取得联系，共同研究决定：以桐西蒋铁地区为依托，向四周邻县开展工作。大力宣传发动群众，发展抗日武装，积极开展统战工作，打击最顽固的反动势力，建立和扩大抗日游击区，配合皖中、皖东抗日根据地的斗争。

此后，挺进团集中活动，先后到舒城的小街、晓天，霍山的磨子潭，岳西的主簿原、魏岭，潜山的官庄、龙山等地活动，袭击这些地区的区、乡公所，歼灭了部分反动武装，扫清了蒋铁周围地区敌军据点，建立了一块以蒋铁为中心，东到桐城县城附近，北至舒城的东沙梗、庐镇关、晓天一带，西达岳西的魏岭、彭家湾、主簿原，南抵怀宁高河埠的游击区。

1941年4月22日，挺进团与五师独立团在宿松县陈汉沟会师，胜利完成任务。7月，挺进团奉师部命令西进宿松、望江、太湖地区，开辟沿江抗日游击根据地，原桐、怀、潜、舒地区游击队组成桐西独立团，继续坚持斗争。1942年2月，挺进团与桐西独立团合编为七师五十八团，团长林维先，政委彭胜标。